Năm 577, Bắc Chu diệt Bắc Tề, thống nhất phương bắc[6]. Cao Vĩ và toàn bộ hoàng tộc Bắc Tề bị bắt về Bắc Chu và bị giết tại Trường An. Hồ Thái hậu và Mục hoàng hậu của Cao Vĩ trốn được, vào đất Bắc Chu, xin vào thanh lâu làm kỹ nữ[7]. Mục hoàng hậu này cũng chẳng phải người tốt, cô ta vốn dĩ là thị nữ của hoàng hậu đầu tiên của Cao Vĩ, nhập cung rồi chủ động quyến rũ Cao Vĩ, hại chết chủ tử của mình nên mới được lên làm hoàng hậu. Hai người đều không chịu được khổ cực, lại bản tính dâm đãng nên cùng nhau làm kỹ nữ trong thành. Tin tức gây chấn động khắp Trường An, mọi người kéo đến thanh lâu xem tận mặt. Một người là thái hậu tiền triều, một người là hoàng hậu tiền triều, hai người có danh xưng này nên việc làm ăn vô cùng tốt đẹp, Hồ thái hậu bản tính dâm đãng, làm kỹ nữ đúng là như cá gặp nước.

Tương truyền, trong những ngày ở thanh lâu, bà nói với con dâu rằng:

Khoảng giữa những năm Khai Hoàng đời Tùy Văn Đế (580-600), Hồ thị qua đời, không rõ bao nhiêu tuổi.